MML 9.3절의 예제 9.7는 5차 다항식을 이용한 베이지안 선형 회귀문제이다. 신뢰 구간과 다항식의 개념이 부족하므로, 문제를 단순화하여 풀어본다.

먼저 신뢰구간이란

특성 함수만 5차에서 1차, 2차 다항식으로 낮추고, 나머지 조건은 그대로 유지하였다.

1차 다항식 모델

특성 함수: $\boldsymbol{\phi}(x) = [1, x]^\top$
매개변수: $\boldsymbol{\theta} = [\theta_0, \theta_1]^\top$ ( $\theta_0$ 는 $y$ 절편, $\theta_1$ 은 기울기)
사전 분포: $p(\boldsymbol{\theta}) = \mathcal{N}(\boldsymbol{0}, \frac{1}{4}\boldsymbol{I}_2)$
이때 공분산 행렬이 대각 행렬이므로, 절편 $\theta_0$ 와 기울기 $\theta_1$ 은 서로 독립이다.
각각 평균이 $0$ 이고 분산이 $0.25$ (표준편차 $0.5$ )인 정규 분포를 따른다.

함수 $f(x) = \boldsymbol{\theta}^\top\boldsymbol{\phi}(x) = \theta_0 + \theta_1 x$ 의 사전 예측 분산은 다음과 같이 전개된다.

$$ \mathbb{V}[f(x)] = \boldsymbol{\phi}^\top(x)\boldsymbol{S}_0\boldsymbol{\phi}(x) $$
$$ = \begin{bmatrix} 1 & x \end{bmatrix} \begin{bmatrix} 0.25 & 0 \\ 0 & 0.25 \end{bmatrix} \begin{bmatrix} 1 \\ x \end{bmatrix} $$
$$ = 0.25(1 + x^2) $$

표준편차 $\sigma(x)$ 는 분산에 루트를 씌운 값이다.

$$ \sigma(x) = 0.5\sqrt{1 + x^2} $$

위의 표준편차 수식 $\sigma(x) = 0.5\sqrt{1 + x^2}$ 는 입력 $x$ 의 위치에 따라 불확실성이 어떻게 변하는지 인과관계를 보여준다.
원점: $x=0$ 을 대입하면 $\sigma(0) = 0.5$ 가 된다. 이때 $f(x)$ 의 불확실성은 오직 절편 $\theta_0$ 에 기인한다(67% 신뢰 구간: $-0.5 \sim 0.5$ ).
원점에서 멀어질 때: ( $x \to \pm \infty$ ): 직선의 기울기 $\theta_1$ 이 가진 약간의 불확실성이 $x$ 와 곱해지면서 예측값의 오차를 선형적으로 증폭시킨다.
결과적으로 이 1차 다항식의 신뢰 구간 경계선은 쌍곡선(hyperbola) 형태를 띤다.

1차 다항식의 신뢰구간.png

2차 다항식 모델

특성 함수: $\boldsymbol{\phi}(x) = [1, x, x^2]^\top$
매개변수: $\boldsymbol{\theta} = [\theta_0, \theta_1, \theta_2]^\top$
사전 분포: $p(\boldsymbol{\theta}) = \mathcal{N}(\boldsymbol{0}, \frac{1}{4}\boldsymbol{I}_3)$

함수 $f(x) = \boldsymbol{\theta}^\top\boldsymbol{\phi}(x) = \theta_0 + \theta_1 x + \theta_2 x^2$ 의 사전 예측 분산을 계산하면 다음과 같다.

$$ \mathbb{V}[f(x)] = \boldsymbol{\phi}^\top(x)\boldsymbol{S}_0\boldsymbol{\phi}(x) $$
$$ = \begin{bmatrix} 1 & x & x^2 \end{bmatrix} \begin{bmatrix} 0.25 & 0 & 0 \\ 0 & 0.25 & 0 \\ 0 & 0 & 0.25 \end{bmatrix} \begin{bmatrix} 1 \\ x \\ x^2 \end{bmatrix} $$
$$ = 0.25(1 + x^2 + x^4) $$

표준편차 $\sigma(x)$ 는 다음과 같다.

$$ \sigma(x) = 0.5\sqrt{1 + x^2 + x^4} $$

1차 다항식과 분산을 비교해보자.

  • 1차 예측 분산: $0.25(1 + x^2)$
  • 2차 예측 분산: $0.25(1 + x^2 + x^4)$
    새로 추가된 매개변수( $\theta_2$ )의 불확실성이 입력값의 제곱( $x^2$ )과 결합하면서, 전체 분산에 $x^4$ 라는 고차항이 더해졌다.
    이는 기하학적으로 분포에서 샘플링된 함수가 더 이상 직선이 아니라 2차함수 형태를 띤다. 또한 $x=0$ 일 때는 여전히 절편( $\theta_0$ )만 남아 불확실성이 0.25로 동일하나, 원점에서 멀어질 수록 $x^4$ 항 때문에 1차 다항식의 쌍곡선보다 훨씬 더 가파르게 신뢰 구간을 형성한다.

2차 다항식의 신뢰 구간.png